Face Restoration (FR) aims to restore High-Quality (HQ) faces from Low-Quality (LQ) input images, which is a domain-specific image restoration problem in the low-level computer vision area. The early face restoration methods mainly use statistic priors and degradation models, which are difficult to meet the requirements of real-world applications in practice. In recent years, face restoration has witnessed great progress after stepping into the deep learning era. However, there are few works to study deep learning-based face restoration methods systematically. Thus, this paper comprehensively surveys recent advances in deep learning techniques for face restoration. Specifically, we first summarize different problem formulations and analyze the characteristic of the face image. Second, we discuss the challenges of face restoration. Concerning these challenges, we present a comprehensive review of existing FR methods, including prior based methods and deep learning-based methods. Then, we explore developed techniques in the task of FR covering network architectures, loss functions, and benchmark datasets. We also conduct a systematic benchmark evaluation on representative methods. Finally, we discuss future directions, including network designs, metrics, benchmark datasets, applications,etc. We also provide an open-source repository for all the discussed methods, which is available at https://github.com/TaoWangzj/Awesome-Face-Restoration.

Traditional machine learning follows a close-set assumption that the training and test set share the same label space. While in many practical scenarios, it is inevitable that some test samples belong to unknown classes (open-set). To fix this issue, Open-Set Recognition (OSR), whose goal is to make correct predictions on both close-set samples and open-set samples, has attracted rising attention. In this direction, the vast majority of literature focuses on the pattern of open-set samples. However, how to evaluate model performance in this challenging task is still unsolved. In this paper, a systematic analysis reveals that most existing metrics are essentially inconsistent with the aforementioned goal of OSR: (1) For metrics extended from close-set classification, such as Open-set F-score, Youden's index, and Normalized Accuracy, a poor open-set prediction can escape from a low performance score with a superior close-set prediction. (2) Novelty detection AUC, which measures the ranking performance between close-set and open-set samples, ignores the close-set performance. To fix these issues, we propose a novel metric named OpenAUC. Compared with existing metrics, OpenAUC enjoys a concise pairwise formulation that evaluates open-set performance and close-set performance in a coupling manner. Further analysis shows that OpenAUC is free from the aforementioned inconsistency properties. Finally, an end-to-end learning method is proposed to minimize the OpenAUC risk, and the experimental results on popular benchmark datasets speak to its effectiveness.

近年来，已取得了巨大进展，以通过半监督学习（SSL）来纳入未标记的数据来克服效率低下的监督问题。大多数最先进的模型是基于对未标记的数据追求一致的模型预测的想法，该模型被称为输入噪声，这称为一致性正则化。尽管如此，对其成功的原因缺乏理论上的见解。为了弥合理论和实际结果之间的差距，我们在本文中提出了SSL的最坏情况一致性正则化技术。具体而言，我们首先提出了针对SSL的概括，该概括由分别在标记和未标记的训练数据上观察到的经验损失项组成。在这种界限的激励下，我们得出了一个SSL目标，该目标可最大程度地减少原始未标记的样本与其多重增强变体之间最大的不一致性。然后，我们提供了一种简单但有效的算法来解决提出的最小问题，从理论上证明它会收敛到固定点。五个流行基准数据集的实验验证了我们提出的方法的有效性。

知识蒸馏（KD）显示了其对象检测的有效性，在AI知识（教师检测器）和人类知识（人类专家）的监督下，它在该物体检测中训练紧凑的对象检测器。但是，现有研究一致地对待AI知识和人类知识，并在学习过程中采用统一的数据增强策略，这将导致对多尺度对象的学习有偏见，并且对教师探测器的学习不足，从而导致不满意的蒸馏性能。为了解决这些问题，我们提出了特定于样本的数据增强和对抗性功能增强。首先，为了减轻多尺度对象产生的影响，我们根据傅立叶角度的观察结果提出了自适应数据增强。其次，我们提出了一种基于对抗性示例的功能增强方法，以更好地模仿AI知识以弥补教师探测器的信息不足。此外，我们提出的方法是统一的，并且很容易扩展到其他KD方法。广泛的实验证明了我们的框架的有效性，并在一阶段和两阶段探测器中提高了最先进方法的性能，最多可以带来0.5 MAP的增长。

最近的研究表明，即使在攻击者无法访问模型信息的黑匣子场景中，基于深模型的检测器也容易受到对抗示例的影响。大多数现有的攻击方法旨在最大程度地减少真正的积极速率，这通常显示出较差的攻击性能，因为在受攻击的边界框中可以检测到另一个最佳的边界框成为新的真实积极的框架。为了解决这一挑战，我们建议最大程度地降低真实的正速率并最大化误报率，这可以鼓励更多的假阳性对象阻止新的真实正面边界框的产生。它被建模为多目标优化（MOP）问题，通用算法可以搜索帕累托最佳选择。但是，我们的任务具有超过200万个决策变量，导致搜索效率较低。因此，我们将标准的遗传算法扩展到了随机子集选择和称为GARSDC的分裂和矛盾，从而显着提高了效率。此外，为了减轻通用算法中人口质量的敏感性，我们利用具有相似骨架的不同检测器之间的可转移性产生了梯度优先人口。与最先进的攻击方法相比，GARSDC在地图中平均减少12.0，在广泛的实验中查询约1000倍。我们的代码可以在https://github.com/liangsiyuan21/ garsdc找到。

对成对比较的排名聚集在选举，体育比赛，建议和信息检索中表现出了令人鼓舞的结果。但是，与众多有关计算和统计特征的研究工作相反，对这种算法的安全问题几乎没有关注。在巨额利润的推动下，潜在的对手具有强大的动力和动力来操纵排名清单。同时，文献中没有很好地研究等级聚集方法的内在脆弱性。为了充分了解可能的风险，我们专注于有目的的对手，他们希望通过修改本文中的成对数据来指定汇总结果。从动力学系统的角度来看，具有目标排名列表的攻击行为是属于对手和受害者组成的固定点。为了执行目标攻击，我们将对手和受害者之间的相互作用作为游戏理论框架，由两个连续的操作员组成，同时建立了NASH平衡。然后，构建了针对Hodgerank和RankCentrality的两个程序，以产生原始数据的修改。此外，我们证明，一旦对手掌握了完整的信息，受害者将产生目标排名列表。值得注意的是，所提出的方法允许对手只保留不完整的信息或不完美的反馈并执行有目的的攻击。一系列玩具模拟和几个现实世界数据实验证明了建议的目标攻击策略的有效性。这些实验结果表明，所提出的方法可以实现攻击者的目标，即扰动排名列表的领先候选人是对手指定的。

由于课堂之间不可避免的语义歧义，TOP-K错误已成为大规模分类基准测试的流行指标。有关TOP-K优化的现有文献通常集中于TOP-K目标的优化方法，同时忽略了度量本身的局限性。在本文中，我们指出，顶级目标缺乏足够的歧视，因此诱导的预测可能使完全无关的标签成为最高等级。为了解决此问题，我们开发了一个新颖的度量标准，名为Top-K曲线（AUTKC）下的部分区域。理论分析表明，AUTKC具有更好的歧视能力，其贝叶斯最佳分数函数可以在条件概率方面给出正确的顶级排名。这表明AUTKC不允许无关标签出现在顶部列表中。此外，我们提出了一个经验替代风险最小化框架，以优化拟议的指标。从理论上讲，我们提出（1）贝叶斯最佳分数函数的渔民一致性的足够条件； （2）在简单的超参数设置下对类不敏感的概括上限。最后，四个基准数据集的实验结果验证了我们提出的框架的有效性。

目前，深度神经网络（DNN）在不同的应用中被广泛采用。尽管具有商业价值，但培训良好的DNN仍在资源消费。因此，训练有素的模型是其所有者的宝贵知识产权。但是，最近的研究揭示了模型窃取的威胁，即使他们只能查询模型，对手也可以获得受害者模型的功能相似的副本。在本文中，我们提出了一个有效且无害的模型所有权验证（移动），以防御不同类型的模型窃取，而无需引入新的安全风险。通常，我们通过验证可疑模型是否包含辩护人指定的外部特征的知识来进行所有权验证。具体而言，我们通过将一些训练样本带来样式转移来嵌入外部功能。然后，我们训练一个元分类器，以确定模型是否被受害者偷走了。这种方法的灵感来自于理解，即被盗模型应包含受害者模型学到的功能的知识。特别是，我们在白色框和黑框设置下开发了移动方法，以提供全面的模型保护。基准数据集的广泛实验验证了我们方法的有效性及其对潜在适应性攻击的抵抗力。复制我们方法的主要实验的代码可在\ url {https://github.com/thuyimingli/move}上获得。

快速对抗训练（脂肪）有效地提高了标准对抗训练（SAT）的效率。然而，初始脂肪遇到灾难性的过度拟合，即，对抗性攻击的稳健精度突然并大大减少。尽管有几种脂肪变体毫不费力地防止过度拟合，但他们牺牲了很多计算成本。在本文中，我们探讨了SAT和FAT的训练过程之间的差异，并观察到，对抗性实例（AES）脂肪的攻击成功率在后期训练阶段逐渐变得更糟，从而导致过度拟合。 AE是通过零或随机初始化的快速梯度标志方法（FGSM）生成的。根据观察结果，我们提出了一种先前的FGSM初始化方法，以避免在研究多种初始化策略后避免过度适应，从而在整个训练过程中提高了AE的质量。初始化是通过利用历史上生成的AE而没有额外计算成本而形成的。我们进一步为提出的初始化方法提供了理论分析。我们还基于先前的初始化，即当前生成的扰动不应过多地偏离先前引导的初始化，因此我们还提出了一个简单而有效的正规化程序。正常化器同时采用历史和当前的对抗性扰动来指导模型学习。在四个数据集上进行的评估表明，所提出的方法可以防止灾难性过度拟合和优于最先进的脂肪方法。该代码在https://github.com/jiaxiaojunqaq/fgsm-pgi上发布。

作为一种常见的安全工具，已广泛应用可见的水印来保护数字图像的版权。但是，最近的作品表明，可见的水印可以通过DNN删除而不会损坏其宿主图像。这样的水印驱动技术对图像的所有权构成了巨大威胁。受到DNN在对抗扰动方面的脆弱性的启发，我们提出了一种新颖的防御机制，可以永久地通过对抗机器学习。从对手的角度来看，可以将盲水水印网络作为我们的目标模型提出。然后，我们实际上优化了对宿主图像上不可察觉的对抗扰动，以主动攻击水印网络，称为水印疫苗。具体而言，提出了两种类型的疫苗。破坏水印疫苗（DWV）在通过水印拆除网络后，诱导了与水印一起破坏宿主图像。相比之下，不可行的水印疫苗（IWV）以另一种方式试图保持水印不清除且仍然明显。广泛的实验证明了我们的DWV/IWV在防止水印去除方面的有效性，尤其是在各种水印去除网络上。